李飛飛，阿里巴巴集團(tuán)副總裁、阿里云數(shù)據(jù)庫產(chǎn)品事業(yè)部負(fù)責(zé)人，也是達(dá)摩院的數(shù)據(jù)庫首席科學(xué)家，任達(dá)摩院數(shù)據(jù)庫和存儲(chǔ)研究實(shí)驗(yàn)室的主任。他在加入阿里巴巴之前是猶他大學(xué)計(jì)算學(xué)院的教授。他的研究興趣包括數(shù)據(jù)庫系統(tǒng)、大規(guī)模數(shù)據(jù)管理、數(shù)據(jù)安全、數(shù)據(jù)分析以及用于系統(tǒng)性能和監(jiān)控的機(jī)器學(xué)習(xí)方法。同時(shí)，他還是ACM Transactions on Database Systems(ACM TODS)期刊的副主編，曾多次擔(dān)任ACM SIGMOD和ACM SIGKDD的高級(jí)區(qū)域主席，并擔(dān)任過各種領(lǐng)導(dǎo)角色(如總聯(lián)合主席)和多個(gè)ACM SIGMOD會(huì)議的項(xiàng)目委員會(huì)成員。
近日，ACM對(duì)李飛飛進(jìn)行了一次訪談，內(nèi)容主要涉及李飛飛團(tuán)隊(duì)在阿里巴巴云基礎(chǔ)建設(shè)方面的目標(biāo)規(guī)劃、云原生數(shù)據(jù)庫系統(tǒng)的運(yùn)用、對(duì)漫游連接算法的介紹，以及機(jī)器學(xué)習(xí)技術(shù)在電子商務(wù)中的巨大影響。最后，李飛飛還談到了他關(guān)于學(xué)界與業(yè)界工作差異的感悟。
本文將采訪編譯如下：
ACM：作為阿里巴巴數(shù)據(jù)庫首席科學(xué)家，您關(guān)于公司云基礎(chǔ)設(shè)施建設(shè)的總體目標(biāo)是什么?
李飛飛：我們團(tuán)隊(duì)的主要目標(biāo)是為阿里巴巴自身的業(yè)務(wù)運(yùn)營和阿里云上企業(yè)客戶構(gòu)建尖端的、世界級(jí)的云原生數(shù)據(jù)庫系統(tǒng)，例如我們的云原生關(guān)系型數(shù)據(jù)庫PolarDB和云原生數(shù)據(jù)倉庫AnalyticDB(ADB)。
在云計(jì)算時(shí)代，由于對(duì)彈性、高可用性、可擴(kuò)展性的需求以及來自不同業(yè)務(wù)領(lǐng)域的應(yīng)用程序?qū)Π葱枋褂玫男枨笤鲩L，云原生數(shù)據(jù)庫變得越來越重要。云應(yīng)用程序的這些需求為云原生數(shù)據(jù)庫提供了新的機(jī)會(huì)，而傳統(tǒng)的企業(yè)內(nèi)部數(shù)據(jù)庫系統(tǒng)無法完全滿足這些需求。通過探索共享存儲(chǔ)和完全共享的架構(gòu)(shared-everything architecture)，云原生數(shù)據(jù)庫利用底層云基礎(chǔ)設(shè)施提供的資源池，將計(jì)算與存儲(chǔ)分離，從而獲得了出色的彈性和高可用性。對(duì)于要求水平擴(kuò)展的高并發(fā)工作負(fù)載，云原生數(shù)據(jù)庫可以進(jìn)一步利用一個(gè)無共享層(shared-nothing layer)來提供分布式查詢和事務(wù)處理能力。我們的最終目標(biāo)，為我們的業(yè)務(wù)運(yùn)營和云客戶提供經(jīng)濟(jì)高效、易于使用且高度可靠的數(shù)據(jù)庫服務(wù)。
ACM：在阿里巴巴雙11全球購物節(jié)期間，該網(wǎng)站的流量在幾秒鐘內(nèi)可激增150倍。您的團(tuán)隊(duì)開發(fā)了哪些工具來處理這類網(wǎng)站流量波動(dòng)?您如何看待這些技術(shù)在將來的發(fā)展趨勢(shì)?
李飛飛：如上所述，在應(yīng)對(duì)這樣的應(yīng)用場景時(shí)，成功的關(guān)鍵是通過底層數(shù)據(jù)庫系統(tǒng)產(chǎn)生極高的彈性和高可用性。一眨眼間，流量就會(huì)突然激增，可操作的數(shù)據(jù)庫系統(tǒng)必須以經(jīng)濟(jì)高效的方式來抵御這種海嘯般的「襲擊」。對(duì)于一個(gè)典型的、傳統(tǒng)的本地?cái)?shù)據(jù)庫系統(tǒng)來說，必須要提前提供大量的硬件資源，以滿足峰值時(shí)的工作負(fù)載。而一旦高峰流量在短時(shí)間內(nèi)減少，就可能會(huì)導(dǎo)致成本高昂和資源浪費(fèi)。
相比之下，云原生數(shù)據(jù)庫系統(tǒng)能夠通過探索共享存儲(chǔ)和完全共享的架構(gòu)，以按需的方式來進(jìn)行自適應(yīng)地、彈性地分配和釋放資源。計(jì)算和存儲(chǔ)的解耦，以及各種資源(計(jì)算機(jī)和存儲(chǔ)資源)的共享，使得云原生數(shù)據(jù)庫系統(tǒng)具有自適應(yīng)性。我們還利用分布式查詢和事務(wù)處理，通過水平分區(qū)來提供進(jìn)一步的可伸縮性，從而滿足高并發(fā)性的需求。
此外，Raft或Paxos等分布式共識(shí)協(xié)議得到了擴(kuò)展和增強(qiáng)，使得可用區(qū)(available zone，AZ)內(nèi)部和可用區(qū)之間都具有高可用性，從而可以在不擔(dān)心數(shù)據(jù)丟失和業(yè)務(wù)停機(jī)或中斷的情況下處理任何故障。同時(shí)，利用軟硬件協(xié)同設(shè)計(jì)來探索RDMA、NVMe等新硬件和DPDK等內(nèi)核旁路協(xié)議所具有的加速和優(yōu)化作用。
HTAP(Hybrid Transaction and Analytical Processing，混合事務(wù)和分析處理)是當(dāng)今云原生數(shù)據(jù)庫系統(tǒng)追求的另外一個(gè)趨勢(shì)，它的目標(biāo)是在雙11購物節(jié)時(shí)，為集群用戶的數(shù)據(jù)處理和分析需求提供一站式解決方案。
最后，很重要的一點(diǎn)是，自驅(qū)動(dòng)數(shù)據(jù)庫(又稱“自治數(shù)據(jù)庫”)技術(shù)通過將機(jī)器學(xué)習(xí)技術(shù)與云原生編排組件(如kubernetes)和各種數(shù)據(jù)庫模塊(如慢SQL診斷、索引推薦)相結(jié)合，簡化了云設(shè)施上云原生數(shù)據(jù)庫的部署、維護(hù)和操作。例如，我們?cè)诎⒗镌平⒘薉AS(database autonomy service，數(shù)據(jù)庫自治服務(wù))，為雙11運(yùn)營和云客戶提供服務(wù)，以確保我們的系統(tǒng)盡可能具有自我修復(fù)、自我調(diào)整和自適應(yīng)能力。
ACM：您最著名的研究工作之一“Wander Join: Online Aggregation via Random Walks”在2016年第35屆ACM SIGMOD會(huì)議上獲得了最佳論文獎(jiǎng)。在這項(xiàng)工作中，您和您的合作者提出了一種新的方法來處理復(fù)雜連接的在線查詢。這篇論文的主要觀點(diǎn)是什么?目前在查詢處理領(lǐng)域有哪些創(chuàng)新性探索?
李飛飛：查詢處理和優(yōu)化是數(shù)據(jù)庫系統(tǒng)最關(guān)鍵的組成部分之一。在這方面，JOIN(一種用來從多表數(shù)據(jù)中查詢和訪問數(shù)據(jù)的SQL子句)是最常見但也最昂貴的數(shù)據(jù)庫操作。采樣提供的估測比計(jì)算精確結(jié)果要快得多，這對(duì)于查詢處理和優(yōu)化任務(wù)來說非常重要。但是用JOIN來進(jìn)行采樣是很困難的，這是近20年以來數(shù)據(jù)庫領(lǐng)域一直面臨的挑戰(zhàn)。在這項(xiàng)工作中，我們引入了新的數(shù)據(jù)采樣技術(shù)，以實(shí)現(xiàn)近似和交互式查詢處理(比如，提供在線的近似結(jié)果，并對(duì)結(jié)果的質(zhì)量進(jìn)行持續(xù)地改進(jìn))。在線估計(jì)器的質(zhì)量會(huì)隨著時(shí)間的推移而提高，最終它會(huì)得到準(zhǔn)確的結(jié)果。這對(duì)于大數(shù)據(jù)分析和查詢處理而言非常具有吸引力，因?yàn)橛脩艨梢愿鶕?jù)自己的意愿來發(fā)出查詢需求，并立即看到查詢結(jié)果，而且輸出的結(jié)果質(zhì)量會(huì)逐漸提高，直到找到準(zhǔn)確的結(jié)果為止(如果需要的話);否則用戶必須等待，不知道什么時(shí)候才能獲得最終的準(zhǔn)確結(jié)果。它們還可用于查詢優(yōu)化(例如，估計(jì)復(fù)雜查詢項(xiàng)目的中間查詢結(jié)果的基數(shù))。
本文提出的漫游連接算法通過在連接圖上隨機(jī)游走，巧妙地實(shí)現(xiàn)了采樣。連接圖不是具體化的，而只是通過仔細(xì)的加權(quán)采樣過程和估計(jì)中的偏差調(diào)整來進(jìn)行概念上的探索。這使得漫游連接算法在數(shù)量級(jí)上優(yōu)于現(xiàn)有的方法，這大大推動(dòng)了最先進(jìn)技術(shù)的發(fā)展。正如我們?cè)?017年ACM SIGMOD會(huì)議上被評(píng)為“研究亮點(diǎn)”的一篇論文中所說的，「在數(shù)據(jù)庫管理系統(tǒng)的研究歷史中，有大量的研究都曾利用采樣以一種比精確計(jì)算更快的速度來估計(jì)查詢結(jié)果。本文提出了一種高效的替代方案，實(shí)現(xiàn)了比以前最先進(jìn)的技術(shù)還要更好的計(jì)算和統(tǒng)計(jì)特性;通過Postgres中的一種開源實(shí)現(xiàn)來進(jìn)行的實(shí)驗(yàn)令人信服地證明了這一點(diǎn)」。
漫游連接產(chǎn)生的是獨(dú)立但不均勻的樣本;但有時(shí)候，更復(fù)雜的分析操作(機(jī)器學(xué)習(xí)方法，比如支持向量機(jī))需要的是獨(dú)立且均勻的隨機(jī)樣本。我們?cè)赟IGMOD'18中的后續(xù)工作展示了如何獲得復(fù)雜連接的真正隨機(jī)樣本。這項(xiàng)研究還帶來了一些領(lǐng)域的創(chuàng)新，比如基于學(xué)習(xí)的查詢處理和優(yōu)化方法。這些想法在“DeepDB: Learn from Data, not from Queries!” 以及“BlinkML: Efficient Maximum Likelihood Estimation with Probabilistic Guarantees”等論文中都有所概述。我們這項(xiàng)工作還啟發(fā)了真實(shí)系統(tǒng)中的實(shí)際運(yùn)用和設(shè)計(jì)問題。
ACM：機(jī)器學(xué)習(xí)方法是如何改變阿里巴巴等大型電子商務(wù)公司的?最重要的改變方式是什么?
李飛飛：機(jī)器學(xué)習(xí)在現(xiàn)代的進(jìn)步已經(jīng)對(duì)包括阿里巴巴在內(nèi)的更多的組織和社會(huì)產(chǎn)生了根本性和持久的影響。舉個(gè)簡單的例子，阿里巴巴電子商務(wù)網(wǎng)站和應(yīng)用程序中的推薦框架，要依賴經(jīng)過精心設(shè)計(jì)和微調(diào)的深度學(xué)習(xí)模型，從而為瀏覽網(wǎng)站和應(yīng)用程序的客戶提供更有效的商品匹配。當(dāng)然，機(jī)器學(xué)習(xí)的影響不僅僅體現(xiàn)在推薦方面。在阿里巴巴數(shù)據(jù)中心的運(yùn)營中，我們探索并利用機(jī)器學(xué)習(xí)技術(shù)構(gòu)建了AIops這種智能監(jiān)控和協(xié)調(diào)工具，以提高數(shù)據(jù)中心運(yùn)營的效率和有效性。還有許多其他的場景和例子，也都可以表明機(jī)器學(xué)習(xí)和人工智能方法的變革性影響，它們?cè)絹碓匠蔀樵S多系統(tǒng)中的關(guān)鍵構(gòu)建組件，包括上面提到的云原生數(shù)據(jù)庫系統(tǒng)(例如使云原生數(shù)據(jù)庫系統(tǒng)能夠進(jìn)行自我調(diào)整)。
ACM：在加入阿里巴巴之前，您在美國猶他大學(xué)擔(dān)任教授。與學(xué)術(shù)界相比，在工業(yè)界工作的最顯著差異是什么?
李飛飛：在猶他大學(xué)計(jì)算機(jī)學(xué)院任職期間，我在計(jì)算機(jī)科學(xué)領(lǐng)域的研究和工程生涯的增長和豐富是巨大且難以形容的。那里擁有世界上最好的計(jì)算機(jī)教育和研究項(xiàng)目之一。我永遠(yuǎn)感謝我所在的學(xué)院和學(xué)校。不過，在阿里巴巴這樣一家偉大的公司工作，無疑也為我理解計(jì)算機(jī)科學(xué)提供了一個(gè)不同的、豐富的視角，這既是一門技術(shù)型學(xué)科，也是一個(gè)日益重要的商業(yè)領(lǐng)域。為一家公司工作意味著你得總是把業(yè)務(wù)和客戶需求排在第一位，必須專注于由業(yè)務(wù)驅(qū)動(dòng)的實(shí)際客戶需求。這并不一定意味著你可以沒有長期的規(guī)劃目標(biāo)，但這些目標(biāo)必須非常集中，而且要對(duì)具有精心設(shè)計(jì)、明確闡述的戰(zhàn)略計(jì)劃和商業(yè)價(jià)值的實(shí)際應(yīng)用具有價(jià)值。
這與在學(xué)術(shù)界工作截然不同，在學(xué)術(shù)界，首要任務(wù)并不是創(chuàng)造商業(yè)價(jià)值，而是創(chuàng)造智力價(jià)值。最終目標(biāo)往往是探索一個(gè)未解決的問題或挑戰(zhàn)，即使這樣的努力最終只是一種智力練習(xí)。但正是通過追求這種好奇心，才得以實(shí)現(xiàn)創(chuàng)新性突破，工程上的努力最終能夠使新技術(shù)的采用在實(shí)踐中普及和擴(kuò)展。
歸根結(jié)底，無論是在學(xué)術(shù)界還是在工業(yè)界，這一切都是在為我們整個(gè)社會(huì)和文明的良好運(yùn)行創(chuàng)造價(jià)值，為之做出貢獻(xiàn)。從我目前的角度來看，我相信我在學(xué)術(shù)界和工業(yè)界的職業(yè)生涯已經(jīng)得到了相互補(bǔ)充和豐富了!
關(guān)鍵詞： 阿里李飛飛 云計(jì)算時(shí)代 阿里巴巴 原生數(shù)據(jù)庫
營業(yè)執(zhí)照公示信息